end to end：已知input和output，去学习input到output 的映射关系，也就是求对应法则f的过程。

Using neural models,hand-crafted features can be replaced by Dense Representation.

A pipeline approach with sub-system can be replaced by a simple end-to-end system.

传统NLP文本任务流程，也就是pipeline approach

neural models，也就是end-to-end的NLP文本任务流程

接下来以机器翻译任务为例，简单阐述两个模型的区别

不仅仅可以用于机器翻译，其他NLP任务也可以借助seq2seq的力量

基于LSTM的seq2seq参考资料

h j → e n c = L S T M ( h j − 1 → e n c , e m b ( x j ) ) h j ← e n c = L S T M ( h j + 1 ← e n c , e m b ( x j ) ) h e n c = [ h n → e n c , h 1 ← e n c ] \begin{aligned} \overrightarrow{h_j}^{enc}&=LSTM(\overrightarrow {h_{j-1}}^{enc},emb(x_j))\\ \overleftarrow{h_j}^{enc}&=LSTM(\overleftarrow{h_{j+1}}^{enc},emb(x_j))\\ h_{enc}&=[\overrightarrow{h_n}^{enc},\overleftarrow{h_1}^{enc}] \end{aligned} hj​ ​enchj​ ​enchenc​​=LSTM(hj−1​ ​enc,emb(xj​))=LSTM(hj+1​ ​enc,emb(xj​))=[hn​ ​enc,h1​ ​enc]​

标准文本判别任务中Encoder使用

双向LSTM中，每层的输出经过归一化之后，输出各种可能结果的概率分布。 Encoder的隐状态输出作为Decoder隐状态的输入 h i d e c = L S T M _ S T E P ( h i − 1 d e c , e m b ′ ( y i − 1 ) ) 其中 e m b ′ ( y i − 1 ) 指的是上一 S T E P 输出的 e m b e d d i n g 向量 \begin{aligned}h_i^{dec}=LSTM\_STEP\big(h_{i-1}^{dec},emb'(y_{i-1})\big)\\ 其中emb'(y_{i-1})指的是上一STEP输出的embedding向量 \end{aligned} hidec​=LSTM_STEP(hi−1dec​,emb′(yi−1​))其中emb′(yi−1​)指的是上一STEP输出的embedding向量​ 双向LSTM每一个方向均使用不同的字典，embedding方式也存在一定区别。现在以普通LSTM为例，预测第i个文本 y i y_i yi​ : 当前 S T E P 隐状态输出 o i = W h i d e c + b 当前 S T E P 输出的概率分布 p i = s o f t m a x ( o i ) p 1 ∈ R ∣ V ∣ 第 i 个词输出的概率 P ( y i ∣ X 1 : n ) = p i [ y i ] \begin{aligned} &当前STEP隐状态输出\quad o_i=Wh_i^{dec}+b \\ &当前STEP输出的概率分布\quad p_i=softmax(o_i)\qquad p_1\in R^{|V|}\\ &第i个词输出的概率\quad P(y_i|X_{1:n})=p_i[y_i] \end{aligned} ​当前STEP隐状态输出oi​=Whidec​+b当前STEP输出的概率分布pi​=softmax(oi​)p1​∈R∣V∣第i个词输出的概率P(yi​∣X1:n​)=pi​[yi​]​

双向LSTM的seq2seq模型结构

单向LSTM的seq2seq模型结构

Encoder层的输出语义向量c包含了输入序列X全部的语义信息，作为Decoder层的输入 可以作为初始化参数参与运算，也可以作为Decoder层每一个STEP的输入参与计算。